Agent Harness
Agent Harness
Definition
Agent Harness는 모델 호출, tool loop, shell interaction, context compaction, sandbox state management, approval, skill loading 등을 묶어 에이전트가 장시간 작업을 수행하게 만드는 실행/오케스트레이션 계층이다.
Why It Matters
모델 성능이 좋아져도 제품 안에서 에이전트가 오래 일하려면 중단, 재시도, 상태 보존, 권한, 파일 접근, 도구 실행을 안정적으로 관리하는 하네스가 필요하다.
Related Concepts
- [Ephemeral Agent Sandbox](/notes/30-concepts__Ephemeral Agent Sandbox/)
- [Agent Skill](/notes/30-concepts__Agent Skill/)
- [Human Approval Boundary](/notes/30-concepts__Human Approval Boundary/)
- [Agent Memory](/notes/30-concepts__Agent Memory/)
- [Vertical AI Agent](/notes/30-concepts__Vertical AI Agent/)
- [채점 가능한 실험 시스템](/notes/30-concepts__채점 가능한 실험 시스템/)
Source-Backed Claims
Agents SDK는 web search, file search, MCP, code interpreter, skills, sandbox use 같은 기능을 기본 에이전트 루프에 결합해, 개발자가 직접 orchestration layer를 계속 작성하지 않게 하려는 구조다. Source: [OpenAI Build Hour - Agents SDK](/notes/10-sources__OpenAI Build Hour - Agents SDK/)
Codex-style harness는 async shell interaction, context compaction, computer/shell use 등을 포함해 모델이 긴 작업 trajectory를 수행하도록 돕는다. Source: [OpenAI Build Hour - Agents SDK](/notes/10-sources__OpenAI Build Hour - Agents SDK/)
하네스와 컴퓨트를 분리하면 샌드박스가 죽거나 만료되어도 하네스가 상태를 스냅샷/재수화할 수 있다. Source: [OpenAI Build Hour - Agents SDK](/notes/10-sources__OpenAI Build Hour - Agents SDK/)
Reusable agent harness는 여러 vertical agent product 아래의 shared execution layer가 될 수 있다. 각 제품은 domain-specific memory, data access, permission, UI를 통해 차별화된다. Source: [1-hour Deep Dive with AI Jason: AI products, YouTube(220k+), Jian-Yang, Startups](/notes/10-sources__1-hour Deep Dive with AI Jason: AI products, YouTube(220k+), Jian-Yang, Startups/)
실험형 코드 에이전트의 하네스는 후보 생성뿐 아니라 빠른 simulation, quick test, full test를 계층화한 validation funnel을 포함해야 한다. Source: [AI 에이전트가 코드를 실험하고 개선하는 법](/notes/10-sources__AI 에이전트가 코드를 실험하고 개선하는 법/)
Examples
- 코드베이스 수정 에이전트가 shell 명령을 실행하고, 장시간 작업을 기다리고, 파일 변경을 추적한 뒤 결과를 보고한다.
- 업무 자동화 에이전트가 여러 tool call을 수행하되 완료/전송/배포 같은 단계에서 approval을 요청한다.
Open Questions
- 하네스 상태와 샌드박스 상태를 각각 어떤 저장소에 두어야 추적 가능성과 비용이 균형을 이루는가?
Sources
- [OpenAI Build Hour - Agents SDK](/notes/10-sources__OpenAI Build Hour - Agents SDK/)
- [1-hour Deep Dive with AI Jason: AI products, YouTube(220k+), Jian-Yang, Startups](/notes/10-sources__1-hour Deep Dive with AI Jason: AI products, YouTube(220k+), Jian-Yang, Startups/)
- [AI 에이전트가 코드를 실험하고 개선하는 법](/notes/10-sources__AI 에이전트가 코드를 실험하고 개선하는 법/)